Năm 198, Lã Bố lại trở mặt đánh Tiểu Bái. Tuy Quan Vũ và Trương Phi khỏe mạnh hơn người nhưng vì quân ít nên vẫn bị bại trận và theo Lưu Bị chạy khỏi Tiểu Bái và cầu viện Tào Tháo.

Theo Tào đánh Từ Châu, xin lấy vợ Tần Nghi Lộc

Tháng 9 năm đó, Tào Tháo và Lưu Bị hợp sức mang quân đến đánh Từ châu để trừ Lã Bố. Quan Vũ cũng dự trận này. Quân Tào vây thành đến tháng 10, cuối cùng Lã Bố bị tướng của mình làm phản, bị bao vây ở lầu Bạch Môn, bị bắt và xử tử.

Theo Tam Quốc Chí, Lã Bố đã sai Tần Nghi Lộc đi cầu cứu Viên Thuật, Thuật giữ Nghi Lộc ở lại và gả cho vợ mới. Quan Vũ nói với Tào Tháo hãy cho ông được lấy vợ cũ của Tần Nghi Lộc là Đỗ thị. Sau khi phá được Lã Bố, Vũ lại đến xin lấy người đó làm vợ. Tào Công ngờ rằng Đỗ thị có nhan sắc, mới sai người đưa về xem trước, rồi giữ lại cho mình, nhận con của thị là Tần Lãng làm con nuôi. Quan Vũ trong lòng bất an.[6]

Sách Thục ký chép rằng: trong bước đường cùng, Lã Bố đã mang vợ mình đến chỗ Quan Vũ để lấy lòng ông, hy vọng ông nói giúp với Tào Tháo. Quan Vũ hỏi Tào Tháo rằng có nhận người đàn bà này được không, Tào Tháo nói rằng được. Nhưng sau đó Quan Vũ hỏi thêm mấy lần nữa khiến Tào Tháo cảm thấy hứng thú bèn sai ông mang vợ Lã Bố tới. Khi Quan Vũ mang vợ Lã Bố đến cho Tào Tháo, Tào ưng ý và giữ lại chỗ mình.[7]

Tam Quốc Diễn Nghĩa lược bỏ đi chuyện Quan Vũ xin Tào Công cho lấy vợ, lại hư cấu nên chuyện Quan Vũ cùng Lưu Bị quỳ xuống xin Tào Tháo tha mạng cho tướng cũ của Lã Bố là Trương Liêu.

Cùng Lưu Bị chống Tào Tháo, chiếm Từ Châu

Tào Tháo cùng Lưu Bị thu quân về Hứa Xương. Tào Tháo không trả lại Từ châu vốn của Lưu Bị được Đào Khiêm giao cho mà sai thủ hạ là Xa Trụ trấn thủ. Lưu Bị bị giữ lại Hứa Xương để kiềm chế.

Sách Thục ký chép rằng: Có lần Lưu Bị cùng đi săn với Tào Tháo, Quan Vũ lén khuyên Lưu Bị nên nhân lúc mọi người hỗn loạn mà giết Tào Tháo nhưng Lưu Bị không nghe theo vì tình thế không cho phép manh động.[8]

Năm 199, Lưu Bị xin đi đánh Viên Thuật, Tào Tháo cấp 1.000 quân cho đi. Quan Vũ và Trương Phi lại hộ vệ Lưu Bị ra mặt trận, giúp Lưu Bị đánh bại Thuật. Thuật thua trận ốm chết.

Lưu Bị thừa cơ dẫn quân đánh chiếm Từ Châu, giết Xa Trụ. Quan Vũ được bổ nhiệm làm thái thú Hạ Bì.

Thua trận, đầu hàng Tào Tháo

Đầu năm 200, Tào Tháo chia quân đi chuẩn bị đánh Từ châu. Lưu Bị biết mình thế yếu bèn sai người đi cầu cứu Viên Thiệu nhưng Thiệu chần chừ không ra quân. Tào Tháo gấp rút tiến đánh Từ châu. Vài ngàn quân của Lưu Bị không chống nổi, bị thua tan tác. Lưu Bị bỏ chạy sang Hà Bắc theo Viên Thiệu, Trương Phi trốn về Nhữ Nam, gia quyến Lưu Bị đều bị bắt; Quan Vũ không có đường chạy, buộc phải đầu hàng Tào Tháo, theo về Hứa Xương.

Sử sách không ghi rõ vì sao Quan Vũ (vốn không sợ cái chết và tuyệt đối trung thành với Lưu Bị) lại chịu hàng Tào Tháo. Còn trong tiểu thuyết Tam Quốc Diễn Nghĩa tác giả La Quán Trung viết ra câu chuyện rằng Quan Vũ ban đầu thà chết không chịu hàng, sau nhờ có Trương Liêu thuyết phục mới đưa ra "ước pháp tam chương" (giao hẹn 3 điều) rất phi lý, trong đó có điều rằng: Một khi biết được tin tức của đại ca Lưu Bị, dù ở chân trời góc bể, Quan Vũ sẽ lập tức rời đi. Tào Tháo vừa nghe xong thì cho rằng: "Nếu giao hẹn như vậy, ta còn cần Quan Vân Trường làm gì nữa?", nhưng sau hồi suy nghĩ, quý tiếc và ái mộ nhân tài nên đã chấp thuận yêu cầu.